HoloLens hoạt động dựa trên những cơ chế đặc biệt nhằm định hình môi trường xung quanh và chuyển động của cơ thể. Cụ thể hơn, thiết bị có một loạt các cảm biến để nhận dạng cử chỉ của 5 đầu ngón tay và sử dụng thông tin này cùng với lớp kính màu để tạo ra những hình ảnh mà người dùng có thể quan sát và tương tác từ nhiều góc độ khác nhau. Thêm vào đó, camera cũng đóng vai trò trong việc xác định vật thể trong phòng và sau đó vi xử lý sẽ đảm nhận vai trò để “ghi đè” hình ảnh “ảo” lên thế giới “thực” và hiển thị kết quả lên màn hình của kính.[7]

Trong màn thử nghiệm đầu tiên, kết hợp với phần mềm kiến trúc SketchUp, người đeo kính có thể kéo các vật thể ra khỏi màn hình. Vật thể đó sẽ biến thành ảnh ảo 3D (3D hologram) ngay trước mắt và người dùng sẽ sử dụng tay di chuyển trong không trung và thực hiện thao tác air-tapping như thể họ đang nhấn vào một con chuột ảo để co kéo, thay đổi kích cỡ, màu sắc… của vật thể nhằm dễ dàng hình dung nó sẽ như thế nào trong không gian thực.[1]

Trong màn demo tiếp theo, người đeo kính giơ ngón tay ra trước mặt, “click" vào ứng dụng để thực hiện cuộc gọi Skype. Các hình ảnh ba chiều có thể được gửi qua Skype và kéo ra khỏi màn hình để họ trực tiếp chỉnh sửa nó như đổi màu, phóng to, thu nhỏ, đặt lên sàn, mặt bàn trong phòng.[1]

Việc giơ ngón tay ra phía trước và bấm vào các icon (Microsoft gọi là air-tapping) cũng như hiệu ứng âm thanh mô phỏng như trong đời thực mang lại cảm giác đặc biệt, tự nhiên và khác lạ (dù người ngoài nhìn vào có thể thấy bạn trông thật kỳ cục). HoloLens nhận diện chuyển động của ngón tay khá chuẩn và nhanh chóng thực hiện lệnh của người dùng[1]